接下來就要來帶各位來寫個MapReduce,網路上很多資源可以參考,
我主要是使用Cloudera的虛擬機來做示範,虛擬機裡面已經有內建Eclipse讓使用者進行練習。
最近感冒...昨天試安裝CM新的Node弄太晚...
說好的撰寫MapReduce又要延後了XD,
一開始的training專案,裡面有幾個建置好的map,reduce的框,不過肉都還沒補進去。
官方的教學文中,推薦可以先使用GitHub,
https://github.com/eljefe6a/UnoExample
把eljefe6a/UnoExample,這個CardExample下載下來。
基本上下載下來,就可以直接Run,記得要載入要M/R的文件就好。
按下Run之後,就可以執行這個Job,不過看跑的結果,好像沒有使用到Hadoop。
左邊就是Input的資料,右邊是output的結果,下方紅字是運作的流程。
左邊的文字檔是卡片的花色和數字,經過這段MapReduce後,會計算各花色的點數。
Mapper中會把來源的
DIAMONDS 3
sPADes Jack
hearts 3
hearts 2
hearts Ace
JOKER JOKER
轉成(key,value) = (DIAMONDS,3),(hearts, 3)...依此類推。
接著在Reducer就會把相同花色的數字Sum起來。
明天感冒好一點,我再來弄一個範例,來試試看~